Few Channels Draw The Whole Picture: Revealing Massive Activations in Diffusion Transformers
少数通道描绘全貌：揭示扩散Transformer中的大规模激活
🧭 扩散Transformer · 大规模激活语义分析
University of Modena and Reggio Emilia, Italy · University of Pisa, Italy
扩散Transformer中极稀疏的大规模激活通道是语义信息的载体，控制生成质量、空间布局并支持无训练的语义迁移
📌 工作参考价值（4 点）
- 在电商商品图生成中，可定位大规模激活通道，通过替换这些通道的值实现细粒度属性控制（如颜色、材质、风格），无需重训模型。
- 生成式推荐场景下，将用户/物品描述作为文本条件，利用大规模激活通道的迁移性，生成跨语义的个性化插值图像或推荐解释。
- 推理加速：发现仅极少数通道起决定性作用，可设计稀疏计算策略，在推理时跳过低贡献通道，显著降低计算量。
- 对于Agent系统中的视觉生成模块，借鉴该机制可实现zero-shot的语义技能迁移，即保留画面结构但改变语义内容，增强多模态交互灵活性。